（文/ 呂棟）

“芯片問題其實沒必要擔心，系統(tǒng)論用疊加和集群等方法，芯片計算結(jié)果上與最先進水平是問題相當?shù)摹！苯冢挥萌A為總裁任正非的擔心一次公開發(fā)聲，增強了社會各界對中國AI發(fā)展的華為何信心。

我們都知道，系統(tǒng)論中國已經(jīng)形成了“百模千態(tài)”的芯片大模型產(chǎn)業(yè)，有多個大模型走在全球前列。問題但無論AI產(chǎn)業(yè)如何發(fā)展，不用算力都是擔心驅(qū)動模型演進的根本動力。隨著外部技術(shù)封鎖步步緊逼，華為何國產(chǎn)算力能否擔當大用？系統(tǒng)論是否只能做推理而不能做復雜訓練？很多人其實心里沒底。

“我們單芯片還是芯片落后美國一代，我們用數(shù)學補物理，問題非摩爾補摩爾，用群計算補單芯片，在結(jié)果上也能達到實用狀況。”任正非的公開發(fā)聲，給國內(nèi)AI產(chǎn)業(yè)吃下了一顆“定心丸”。

帶著對國產(chǎn)算力發(fā)展的關(guān)心，與華為2012實驗室的技術(shù)專家的做了一次交流，我們了解到，昇騰算力不僅實現(xiàn)推理性能全球領(lǐng)先，同時系統(tǒng)穩(wěn)定性也保持在高水平，能高效訓出世界一流的萬億參數(shù)大模型。尤其是CloudMatrix 384超節(jié)點技術(shù)，以系統(tǒng)補單點，從堆芯片到拼架構(gòu)，核心指標比肩英偉達，成為中國AI發(fā)展的堅實算力底座。

芯片問題為何不用擔心？

在外部制裁圍堵下，芯片問題就像“達摩克里斯之劍”一樣，一直懸在中國產(chǎn)業(yè)界頭上。尤其隨著中美AI競爭愈發(fā)激烈，美國一方面竭力遏制中國先進芯片制造的能力，另一方面又不斷收緊對英偉達高端芯片的出口管制，試圖讓中國AI產(chǎn)業(yè)在“算力囚籠”中止步不前。

但危中也有機。行業(yè)的發(fā)展趨勢是，當Transformer這樣的大型神經(jīng)網(wǎng)絡模型橫空出世，萬億參數(shù)模型開始涌現(xiàn)，對算力和顯存的需求呈爆炸式增長，單個GPU甚至單個服務器都難以招架，集群算力成為大勢所趨，這也給中國用系統(tǒng)方法解決算力困境帶來契機。

說起“系統(tǒng)論”，老一輩中國人可能并不陌生。錢學森的《論系統(tǒng)工程》，核心思想就是把研究對象看做一個整體而不是孤立的點，通過整體優(yōu)化彌補單點落后。

華為制裁中突圍，正是受到系統(tǒng)工程的啟發(fā)。技術(shù)專家對表示，算力基礎設施是復雜的系統(tǒng)，華為把各個部分打通了，在內(nèi)部組織了算力會戰(zhàn)，把華為云、模型、底座、芯片、硬件工程、基礎軟件的研發(fā)力量集結(jié)在一起，跨部門作戰(zhàn)，深度協(xié)同。這樣的環(huán)境和機制，能夠產(chǎn)生協(xié)同效應和系統(tǒng)工程的整合，實現(xiàn)了“大雜燴”技術(shù)的有效利用和協(xié)同創(chuàng)新。

基于系統(tǒng)工程，華為構(gòu)建了巨型算力基礎設施CloudMatrix 384超節(jié)點，通過全對等高速互聯(lián)架構(gòu)，讓384張昇騰卡可以像一臺計算機一樣工作。它的算力總規(guī)模達300Pflops，是英偉達旗艦NVL72的1.7倍；網(wǎng)絡互聯(lián)總帶寬達269TB/s，比英偉達NVL72提升107%；內(nèi)存總帶寬達1229TB/s，比英偉達NVL72提升113%。更關(guān)鍵的是，它還能擴展為包含數(shù)萬卡的Atlas 900 SuperCluster超節(jié)點集群，未來可以支撐更大規(guī)模的模型演進。

“超節(jié)點是復雜系統(tǒng)，單卡的技術(shù)指標并不代表系統(tǒng)的效能，我們‘系統(tǒng)工程’，要達到的是系統(tǒng)最佳，而不是單點最強。解決這些超復雜系統(tǒng)的問題需要懂理論，如系統(tǒng)論，控制論，信息論，計算數(shù)學等；同時，我們通過數(shù)學的方法對計算系統(tǒng)進行建模、仿真，想辦法把每一部分都用起來，做到不浪費，各個部分完美配合，高效協(xié)同。”華為技術(shù)專家表示。

我們都知道，芯片制造遵循著“摩爾定律”，但前提是獲取先進的設備材料。在制裁圍堵下，華為通過復雜系統(tǒng)優(yōu)化，實現(xiàn)了“非摩爾補摩爾”的效果，讓單芯片短板不再是制約。

華為技術(shù)專家指出，單芯片制程從7納米到5納米、3納米、2納米，每代性能提升不超過20%，總體能提升50%左右。華為通過高效的超節(jié)點系統(tǒng)，提升了芯片算力利用率。“MoE大模型訓練，我們以前MFU（模型算力利用率）是30%，業(yè)界也是差不多這個水平，我們最新公布的數(shù)據(jù)提升到41%，實驗室是45%多。從30%提升到45%，利用率相當于提升了50%。在硬件什么也沒有改變的情況下，通過系統(tǒng)工程的優(yōu)化，資源的高效調(diào)度，一定程度彌補了芯片工藝的不足。”

“西方不斷打補丁，我們重新定義架構(gòu)”

華為被制裁的這幾年，算力產(chǎn)業(yè)其實也處在變革過程中。

隨著大模型Scaling Law（尺度定律）的持續(xù)演進，整個AI行業(yè)產(chǎn)生了巨量算力需求。但是傳統(tǒng)的計算集群已經(jīng)出現(xiàn)瓶頸，無限制的堆卡并不能帶來算力的線性提升，反而會產(chǎn)生“內(nèi)存墻”、“規(guī)模墻”和“通信墻”的問題。這是因為在集群內(nèi)部，算力卡之間和服務器之間并不是獨立工作，而是需要邊計算邊“溝通”，如果通信能力跟不上，就會出現(xiàn)算力閑置。

過去8年間，單卡硬件算力增長了40倍，但節(jié)點內(nèi)總線帶寬只增長了9倍，跨節(jié)點的網(wǎng)絡帶寬只增長了4倍，這使得集群網(wǎng)絡通信成為當前大模型訓練和推理的最大挑戰(zhàn)。因此如果不能提升通信效率，單純把384張昇騰卡堆起來，計算效果并不一定就比72張英偉達卡更好，因為卡間和服務器間的通信開銷會抵消算力增加的收益，導致有效算力不升反降。

作為算力產(chǎn)業(yè)先行者，英偉達早早意識到這個問題。黃仁勛的做法是，把之前消費級顯卡上的NVLink技術(shù)移植到計算集群中，相當于給GPU之間搭建一條“專用超寬車道”并且把多顆GPU、CPU、高帶寬內(nèi)存、NVLink/NVSwitch等高度集成，打造了NVL72超節(jié)點。

但問題是，NVLink只能用于英偉達自家GPU之間的通信，節(jié)點內(nèi)的NPU、FPGA等非GPU異構(gòu)硬件，并不能走這條“超寬車道”，還是要通過效率較低的PCIe協(xié)議走CPU中轉(zhuǎn)，同時節(jié)點之間通過以太網(wǎng)/InfiniBand等協(xié)議跨機互聯(lián)，在巨量計算中也存在帶寬堵點。

不同于這種做法，華為CloudMatrix 384超節(jié)點對計算架構(gòu)進行重構(gòu)，徹底打破了傳統(tǒng)以CPU為中心的馮諾依曼架構(gòu)，創(chuàng)新提出了“全對等架構(gòu)”。它通過3168根光纖和6912個400G光模塊構(gòu)建了高速互聯(lián)總線，并把總線從服務器內(nèi)部擴展到整機柜、甚至跨機柜，最終將CPU、NPU、DPU、存儲和內(nèi)存等資源全部互聯(lián)和池化，這樣做就能去除掉了繁多的中轉(zhuǎn)環(huán)節(jié)，從而實現(xiàn)真正的點對點互聯(lián)，進而實現(xiàn)更大的算力密度和互聯(lián)帶寬。

“西方是繼承發(fā)展，任總形象地比喻為‘百納衣’，就是衣服破了以后不斷地打補丁，協(xié)議不同，互通要轉(zhuǎn)換的，包頭套包頭，有效載荷就很小了。我們重新定義了對等的架構(gòu)，統(tǒng)一了所有的通信協(xié)議，互通就不需要轉(zhuǎn)換，提升了有效載荷。”華為技術(shù)專家對說道。

“打鐵還需自身硬，充分滿足國內(nèi)需要”

華為構(gòu)建了這么強大的昇騰算力，實際應用效果怎么樣？尤其是在英偉達高端算力被封鎖的情況下，昇騰算力到底能不能給中國AI發(fā)展帶來底氣和信心？這是行業(yè)內(nèi)外真正關(guān)心的。